jzh A Hierarchical Bidirectional GRU Model With Attention for EEG-Based Emotion Classification

摘要

本文提出了一种层次结构双向门控递归单元(GRU)网络，用于从连续的脑电信号中进行情感分类。Attention用于EEG的samples和epochs两个级别上。

我们在DEAP数据集上进行了跨受试者情感分类实验，以评估模型的性能。实验结果表明，在valence和arousal维度上，我们的1-s EEG序列分别比最佳deep baseline LSTM模型好4.2%和4.6%，比最佳shallow baseline模型好11.7%和12%。

信息

期刊: IEEE ACCESS 2019

作者:

关键词

Hierarchical, bidirectional GRU, attention, EEG, emotion classification

介绍及相关工作

由于脑电信号具有高度的时间依赖性、非平稳性和易受噪声干扰等特点，因此很难分辨和提取出脑电信号序列中情感相关性较高的关键时间点或片段。

假设EEG信号是平稳的，则 Dynamic Statistical Parametric Maps (DSPM), Minimum Norm Estimation
(NME), Phase Shift and Vector Modulation 可以使用。滑动窗口问题在某种程度上解决了数据的非平稳性，但是它的统计效率是很低的。

目前，CNN、RNN和LSTM已逐渐应用于脑电信号的建模，但研究仍处于起步阶段。

这些方法在一定程度上提高了脑电情感分类的性能，但很少有模型考虑到脑电epoch和sample对序列情感类别的有不同的重要性。

此外，目前的研究主要集中在依赖受试者的脑电数据的情感分类上，而非独立于受试者的脑电数据。我们不打算为每个用户单独训练一个模型，而是通过微调来预测用户的情感状态。

我们提出了一种具有注意机制的分层双向门控递归单元(GRU)网络，称为H-ATT-BGRU。

研究过程

双向GRU编码器

GRU模型比标准的LSTM模型更简单、更快。特别是在训练大数据时，与标准LSTM模型相比，性能差异小，可以节省大量时间。对于许多序列建模任务来说，了解未来和过去的序列是有益的。然而，标准GRU网络按时间顺序处理序列，它们忽略了上下文。

层次的Attention结构

为了应用好我们的模型，我们把样本分成epoch，每个epoch有多个sample。

sample encoder

我们首先将sample进行编码，使用的是双向GRU。

sample attention

$\begin{aligned} u_{j t} &=\tanh \left(W_{s} h_{j t}+b_{s}\right) \\ \alpha_{j t} &=\frac{\exp \left(u_{j t}^{T} u_{s}\right)}{\sum_{t} \exp \left(u_{j t}^{T} u_{s}\right)} \\ e_{j} &=\sum_{t} \alpha_{j t} h_{j t} \end{aligned}$

$u_{s}$随机初始化，并在过程中进行调整。

epoch encoder

epoch decoder

sequence classification

结果输出

$p=\operatorname{softmax}\left(W_{c} v+b_{c}\right)$

损失函数

$\mathrm{E} \Theta=-\frac{1}{N} \sum_{n=1}^{N} Y_{n} \log \left(\tilde{Y}_{n}\left(X_{n}, \theta\right)\right)+\frac{\lambda}{2}|| \theta||_{2}^{2}$

模型结构

实验结果

数据集

伦敦玛丽皇后大学的研究人员开发了DEAP数据集，这是一个大型的开源数据集，包含多种带有情绪评估的生理信号。该数据集记录了32名受试者在观看40个1分钟的具有不同情绪倾向的音乐视频时的脑电图、心电图、肌电图和其他生物电信号。然后，受试者的情绪用从1到9对看视频的感受进行衡量，包括valence，arousal，liking，dominance，familiarity。评级值从小到大表示各指数由负到正或由弱到强。这40个刺激视频由20个valence/arousal视频和20个valence/arousal视频组成。

数据处理

32导EEG被下采样到128赫兹。使用4-47Hz的带通滤波器来消除噪音。使用盲源分离取均值到参考值，并且去除了EOG伪影。
预处理后的脑电信号总长度为63-s，包括看视频的60-s和看前的3-s。然后，我们从观看视频的60秒脑电图信号(7680次读数)中去除3秒基本信号的平均值，并对跨通道数据进行归一化。
每个受试者数据为 40(trials)×60(epochs)×128 (samples)×32(channels)，大于5的标为1，小于等于5的标为0。
其余划分方式

实验设置

batchsize为60，学习率为0.05。

数据则选择25%为训练集，GRU隐藏单元个数为64，双向拼接为128。

Baseline

shallow baseline

我们使用AR和PSD来提取特征值，送入BT和SVM中进行分类。

deep baseline

CNN

LSTM

实验效果

Attention 权重

结论

本文提出了一种具有注意机制的分层双向GRU模型(H-A TT-BGRU)，用于学习脑电序列特征并对其进行跨受试者情感分类。随着脑电序列epoch长度的增加，我们的模型表现出比其他baseline模型更好的分类性能，表明该模型能够有效降低长期脑电序列非平稳性的影响，提高基于脑电的情感分类的准确性和鲁棒性。该模型将应用于未来开发鲁棒的情感脑机接口的应用。